如今，卷积神经网络（CNN）经常用于基于视觉的感知堆栈，用于安全关键的应用，例如自动驾驶或无人驾驶汽车（无人机）。由于这些用例的安全要求，重要的是要知道CNN的局限性，因此要检测到分布外（OOD）样本。在这项工作中，我们提出了一种方法，可以通过利用保证金熵（ME）损失来启用2D对象检测。提出的方法易于实现，可以应用于大多数现有的对象检测体系结构。此外，我们将分离性作为用于检测对象检测中的OOD样品的度量。我们表明，使用标准置信度得分，接受ME损失训练的CNN明显优于OOD检测。同时，基础对象检测框架的运行时间保持不变，使ME损失成为启用OOD检测的强大工具。

Variational autoencoders model high-dimensional data by positing low-dimensional latent variables that are mapped through a flexible distribution parametrized by a neural network. Unfortunately, variational autoencoders often suffer from posterior collapse: the posterior of the latent variables is equal to its prior, rendering the variational autoencoder useless as a means to produce meaningful representations. Existing approaches to posterior collapse often attribute it to the use of neural networks or optimization issues due to variational approximation. In this paper, we consider posterior collapse as a problem of latent variable non-identifiability. We prove that the posterior collapses if and only if the latent variables are non-identifiable in the generative model. This fact implies that posterior collapse is not a phenomenon specific to the use of flexible distributions or approximate inference. Rather, it can occur in classical probabilistic models even with exact inference, which we also demonstrate. Based on these results, we propose a class of latent-identifiable variational autoencoders, deep generative models which enforce identifiability without sacrificing flexibility. This model class resolves the problem of latent variable non-identifiability by leveraging bijective Brenier maps and parameterizing them with input convex neural networks, without special variational inference objectives or optimization tricks. Across synthetic and real datasets, latent-identifiable variational autoencoders outperform existing methods in mitigating posterior collapse and providing meaningful representations of the data.

It is well known that conservative mechanical systems exhibit local oscillatory behaviours due to their elastic and gravitational potentials, which completely characterise these periodic motions together with the inertial properties of the system. The classification of these periodic behaviours and their geometric characterisation are in an on-going secular debate, which recently led to the so-called eigenmanifold theory. The eigenmanifold characterises nonlinear oscillations as a generalisation of linear eigenspaces. With the motivation of performing periodic tasks efficiently, we use tools coming from this theory to construct an optimization problem aimed at inducing desired closed-loop oscillations through a state feedback law. We solve the constructed optimization problem via gradient-descent methods involving neural networks. Extensive simulations show the validity of the approach.

我们介绍了无界深度神经网络（UDN），这是一个无限深的概率模型，可使其复杂性适应训练数据。 UDN包含一个无限的隐藏层序列，并将无限的先验放在截断L上，该层产生数据的层。给定观测数据集，后UDN提供了无限神经网络参数及其截断的条件分布。我们开发了一种新型的变分推理算法来近似此后部，优化了神经网络权重和截断深度L的分布，而没有任何上限。任意深度的网络权重，并且随着其截断的分布被优化，它会动态创建或删除自由变分参数。 （与启发式搜索的方法不同，该算法仅通过基于梯度的优化来探讨截断的空间。）我们研究了UDN，对真实和合成数据进行了研究。我们发现UDN将其后深度适应数据集的复杂性。它的表现优于类似计算复杂性的标准神经网络；它的表现优于无限深度神经网络的其他方法。

变异自动编码器（VAE）遭受后塌陷的苦难，其中用于建模和推理的强大神经网络在没有有意义使用潜在表示的情况下优化了目标。我们引入了推理评论家，通过需要潜在变量和观测值之间的对应关系来检测和激励后塌陷。通过将批评家的目标与自我监督的对比表示学习中的文献联系起来，我们从理论和经验上展示了优化推论批评家在观察和潜伏期之间增加相互信息，从而减轻后验崩溃。这种方法可以直接实施，并且需要比以前的方法要少得多的培训时间，但在三个已建立的数据集中获得了竞争结果。总体而言，该方法奠定了基础，以弥合先前与各种自动编码器的对比度学习和概率建模的框架，从而强调了两个社区在其交叉点上可能会发现的好处。

近年来，已经开发了大量解释神经网络的特征归因方法。尤其是在计算机视觉领域，存在许多提供像素归因的显着图图的方法。但是，他们的解释通常相互矛盾，尚不清楚要信任哪种解释。解决此问题的一种自然解决方案是多次解释的汇总。我们介绍并将基于像素的不同聚合方案与产生新的解释进行了比较，其对模型决策的保真度高于每个单独的解释。使用贝叶斯优化领域的方法，我们将各个解释之间的方差纳入聚合过程中。此外，我们分析了多种归一化技术对集合聚集的影响。

从观察到的调查数据中，宇宙学的正向建模方法使在宇宙开头重建初始条件成为可能。但是，参数空间的高维度仍然构成挑战，探索完整的后部，传统算法（例如汉密尔顿蒙特卡洛（HMC））由于产生相关样本而在计算上效率低下发散（损失）功能。在这里，我们开发了一种称为变异自动采样（VBS）的混合方案，以通过学习用于蒙特卡洛采样的建议分布的变异近似来减轻这两种算法的缺点，并将其与HMC结合。变异分布被参数化为正常化的流量，并通过即时生成的样品学习，而从中提取的建议则减少了MCMC链中的自动相关长度。我们的归一化流程使用傅立叶空间卷积和元素的操作来扩展到高维度。我们表明，经过短暂的初始热身和训练阶段，VBS比简单的VI方法产生了更好的样品质量，并将采样阶段的相关长度缩短了10-50倍，仅使用HMC探索初始的后验64 $^3 $和128 $^3 $维度问题的条件，高信噪比数据观察的收益较大。

自然图像和医学图像之间的根本差异最近有利于对医学图像应用中的Imagenet转移学习使用自我监督学习（SSL）。图像类型之间的差异主要是由于成像方式和医学图像利用了广泛的基于物理的技术，而自然图像仅使用可见光捕获。尽管许多人证明了医学图像上的SSL导致了更好的下游任务绩效，但我们的工作表明可以获得更多的性能。在构建学习问题时，经常不考虑用于获取医学图像的科学原理。因此，我们建议在生成SSL期间合并定量成像原理，以提高图像质量和定量生物学准确性。我们表明，这种培训模式可为有限数据的下游监督培训提供更好的起始状态。我们的模型还生成了验证临床定量分析软件的图像。

本文提出了概率共形预测（PCP），这是一种预测推理算法，该算法通过不连续的预测集估算目标变量。给定输入，PCP基于估计生成模型的随机样品构建预测集。它有效且与显式或隐式有条件生成模型兼容。从理论上讲，我们表明PCP可以保证使用有限样品正确的边际覆盖范围。从经验上讲，我们研究了PCP在各种模拟和真实数据集上。与现有的共形推断方法相比，PCP提供了更清晰的预测集。

变异推理通常从近似分布q到后p中最小化“反向” kullbeck-leibeler（kl）kl（q || p）。最近的工作研究“正向” KL KL（P || Q），它与反向KL不同并不能导致低估不确定性的变异近似值。本文介绍了运输评分攀登（TSC），该方法通过使用汉密尔顿蒙特卡洛（HMC）和新型的自适应传输图来优化KL（P || Q）。传输图通过充当潜在变量空间和扭曲空间之间变量的变化来改善HMC的轨迹。TSC使用HMC样品在优化KL时动态训练传输图（P || Q）。TSC利用协同作用，在该协同作用下，更好的运输地图会导致更好的HMC采样，从而导致更好的传输地图。我们在合成和真实数据上演示了TSC。我们发现，在训练大规模数据的变异自动编码器时，TSC可以实现竞争性能。